Praca domowa 2

Sebastian Deręgowski

In [1]:
import pandas as pd
import numpy as np
import pickle
import dalex as dx
import warnings
warnings.filterwarnings('ignore')

1. Predykcja modelu

Po zaimportowaniu wszystkich bibliotek wczytujemy naszą ramkę danych i wytrenowany model (MLP Regressor), a następnie wybieramy obserwację i liczymy dla niej predykcję:

In [2]:
housing_df = pd.read_csv('housing_preprocessed.csv')
mlp = pickle.load(open('mlp','rb'))
In [3]:
X = housing_df.drop('median_house_value',axis = 1)
y = housing_df.loc[:,['median_house_value']]

random_observation = X.loc[[966],:]
prediction = mlp.predict(random_observation)
In [4]:
print(f"Predykcja: {prediction[0]} \n Rzeczywista wartość: {y.iloc[966,0]}")

Predykcja: 317051.09577051835 
 Rzeczywista wartość: 393200.0

RMSE dla tego modelu wynosiło około 60 000 USD, tutaj mamy nieco ponad 75 000 USD.

2. Dekompozycja LIME

Wyliczmy teraz dekompozycję predykcji modelu używając LIME:

In [5]:
explainer = dx.Explainer(mlp,X,y)
surrogate = explainer.predict_surrogate(random_observation,type="lime",show_all=True)
surrogate.show_in_notebook()

Preparation of a new explainer is initiated

  -> data              : 19643 rows 12 cols
  -> target variable   : Parameter 'y' was a pandas.DataFrame. Converted to a numpy.ndarray.
  -> target variable   : 19643 values
  -> model_class       : sklearn.neural_network._multilayer_perceptron.MLPRegressor (default)
  -> label             : Not specified, model's class short name will be used. (default)
  -> predict function  : <function yhat_default at 0x000001D52E6B3C80> will be used (default)
  -> predict function  : Accepts pandas.DataFrame and numpy.ndarray.
  -> predicted values  : min = 4.19e+04, mean = 1.91e+05, max = 4e+05
  -> model type        : regression will be used (default)
  -> residual function : difference between y and yhat (default)
  -> residuals         : min = -2.78e+05, mean = 1.05e+03, max = 3.56e+05
  -> model_info        : package sklearn

A new explainer has been created!

Dla porównania zobaczmy jak wygląda dekompozycja przy użyciu Break Down i SHAP:

In [6]:
explainer.predict_parts(random_observation).plot(max_vars=20)
In [7]:
explainer.predict_parts(random_observation,type="shap").plot(max_vars=20)

Jak widzimy wszystkie trzy dekompozycje dają w miarę zbliżone rezultaty (zarówno co do znaczenia poszczególnych zmiennych, jak i wartości dodanych/odejmowanych). Pojawiają się subtelne różnice; w powyższym przykładzie zerowa wartość zmiennej NEAR_BAY ma ujemny wpływ na wartość mieszkania dla LIME'a i SHAP, w odróżnieniu od dekompozycji Break Down.

3. Porównanie dla innych obserwacji

In [8]:
surrogate1 = explainer.predict_surrogate(X.loc[[1025],:],type="lime",show_all=True)
surrogate1.show_in_notebook()
In [9]:
surrogate2 = explainer.predict_surrogate(X.loc[[1410],:],type="lime",show_all=True)
surrogate2.show_in_notebook()
In [10]:
surrogate3 = explainer.predict_surrogate(X.loc[[1525],:],type="lime",show_all=True)
surrogate3.show_in_notebook()
In [11]:
surrogate4 = explainer.predict_surrogate(X.loc[[1791],:],type="lime",show_all=True)
surrogate4.show_in_notebook()
In [12]:
surrogate5 = explainer.predict_surrogate(X.loc[[1918],:],type="lime",show_all=True)
surrogate5.show_in_notebook()
In [13]:
surrogate2 = explainer.predict_surrogate(X.loc[[1989],:],type="lime",show_all=True)
surrogate2.show_in_notebook()

4. Wnioski i komentarze

LIME zgrubsza potwierdza to, co zauważyliśmy przy poprzedniej pracy domowej dzięki Break Down i SHAP. Ponownie widzimy, że dużą wartość ma zmienna median_income, często niemałe znaczenie mają także zmienne położenia, choć nie zawsze.

Dużą zaletą LIME'a jest przede wszystkim czas wykonania dekompozycji - o wiele krótszy niż w przypadku Break Down i SHAP. Osobiście jednak podoba mi się on najmniej głównie ze względu na mało atrakcyjny wygląd wykresu.

Analizując chociażby zmienną NEAR OCEAN zauważamy, że jej zerowa wartość we wszystkich przypadkach ujemny wpływ do wartości mieszkania. Wartości również są zbliżone - wszystkie wahają się pomiędzy 20 000 a 25 000, co można uznać za dość dokładny wynik.

Podobnie zachowuje się zmienna NEAR_BAY, która dla trzech obserwacji przyjmuje wartość 1 (za każdym razem dodając do wartości mieszkania nieco ponad 30 000 USD), a dla pozostałych czterech 0 (odejmując od wartości mieszkania od 20 000 do 36000 USD).

Generalnie możemy więc uznać LIME za stabilny.